Despite excellent performance in image generation, Generative Adversarial Networks (GANs) are notorious for its requirements of enormous storage and intensive computation. As an awesome ''performance maker'', knowledge distillation is demonstrated to be particularly efficacious in exploring low-priced GANs. In this paper, we investigate the irreplaceability of teacher discriminator and present an inventive discriminator-cooperated distillation, abbreviated as DCD, towards refining better feature maps from the generator. In contrast to conventional pixel-to-pixel match methods in feature map distillation, our DCD utilizes teacher discriminator as a transformation to drive intermediate results of the student generator to be perceptually close to corresponding outputs of the teacher generator. Furthermore, in order to mitigate mode collapse in GAN compression, we construct a collaborative adversarial training paradigm where the teacher discriminator is from scratch established to co-train with student generator in company with our DCD. Our DCD shows superior results compared with existing GAN compression methods. For instance, after reducing over 40x MACs and 80x parameters of CycleGAN, we well decrease FID metric from 61.53 to 48.24 while the current SoTA method merely has 51.92. This work's source code has been made accessible at https://github.com/poopit/DCD-official.

CutMix is a vital augmentation strategy that determines the performance and generalization ability of vision transformers (ViTs). However, the inconsistency between the mixed images and the corresponding labels harms its efficacy. Existing CutMix variants tackle this problem by generating more consistent mixed images or more precise mixed labels, but inevitably introduce heavy training overhead or require extra information, undermining ease of use. To this end, we propose an efficient and effective Self-Motivated image Mixing method (SMMix), which motivates both image and label enhancement by the model under training itself. Specifically, we propose a max-min attention region mixing approach that enriches the attention-focused objects in the mixed images. Then, we introduce a fine-grained label assignment technique that co-trains the output tokens of mixed images with fine-grained supervision. Moreover, we devise a novel feature consistency constraint to align features from mixed and unmixed images. Due to the subtle designs of the self-motivated paradigm, our SMMix is significant in its smaller training overhead and better performance than other CutMix variants. In particular, SMMix improves the accuracy of DeiT-T/S, CaiT-XXS-24/36, and PVT-T/S/M/L by more than +1% on ImageNet-1k. The generalization capability of our method is also demonstrated on downstream tasks and out-of-distribution datasets. Code of this project is available at https://github.com/ChenMnZ/SMMix.

This paper proposes a content relationship distillation (CRD) to tackle the over-parameterized generative adversarial networks (GANs) for the serviceability in cutting-edge devices. In contrast to traditional instance-level distillation, we design a novel GAN compression oriented knowledge by slicing the contents of teacher outputs into multiple fine-grained granularities, such as row/column strips (global information) and image patches (local information), modeling the relationships among them, such as pairwise distance and triplet-wise angle, and encouraging the student to capture these relationships within its output contents. Built upon our proposed content-level distillation, we also deploy an online teacher discriminator, which keeps updating when co-trained with the teacher generator and keeps freezing when co-trained with the student generator for better adversarial training. We perform extensive experiments on three benchmark datasets, the results of which show that our CRD reaches the most complexity reduction on GANs while obtaining the best performance in comparison with existing methods. For example, we reduce MACs of CycleGAN by around 40x and parameters by over 80x, meanwhile, 46.61 FIDs are obtained compared with these of 51.92 for the current state-of-the-art. Code of this project is available at https://github.com/TheKernelZ/CRD.

作为自动驾驶系统的核心部分，运动计划已受到学术界和行业的广泛关注。但是，由于非体力学动力学，尤其是在存在非结构化的环境和动态障碍的情况下，没有能够有效的轨迹计划解决方案能够为空间周期关节优化。为了弥合差距，我们提出了一种多功能和实时轨迹优化方法，该方法可以在任意约束下使用完整的车辆模型生成高质量的可行轨迹。通过利用类似汽车的机器人的差异平坦性能，我们使用平坦的输出来分析所有可行性约束，以简化轨迹计划问题。此外，通过全尺寸多边形实现避免障碍物，以产生较少的保守轨迹，并具有安全保证，尤其是在紧密约束的空间中。我们通过最先进的方法介绍了全面的基准测试，这证明了所提出的方法在效率和轨迹质量方面的重要性。现实世界实验验证了我们算法的实用性。我们将发布我们的代码作为开源软件包，目的是参考研究社区。

本文着重于当前过度参数化的阴影去除模型的局限性。我们提出了一个新颖的轻型深神经网络，该网络在实验室色彩空间中处理阴影图像。提出的称为“实验室网络”的网络是由以下三个观察结果激励的：首先，实验室颜色空间可以很好地分离亮度信息和颜色属性。其次，顺序堆叠的卷积层无法完全使用来自不同接受场的特征。第三，非阴影区域是重要的先验知识，可以减少阴影和非阴影区域之间的剧烈差异。因此，我们通过涉及两个分支结构的结构来设计实验室网络：L和AB分支。因此，与阴影相关的亮度信息可以很好地处理在L分支中，而颜色属性则很好地保留在AB分支中。此外，每个分支由几个基本块，局部空间注意模块（LSA）和卷积过滤器组成。每个基本块由多个平行的扩张扩张率的扩张卷积组成，以接收不同的接收场，这些接收场具有不同的网络宽度，以节省模型参数和计算成本。然后，构建了增强的通道注意模块（ECA），以从不同的接受场聚集特征，以更好地去除阴影。最后，进一步开发了LSA模块，以充分利用非阴影区域中的先前信息来清洁阴影区域。我们在ISTD和SRD数据集上执行广泛的实验。实验结果表明，我们的实验室网络井胜过最先进的方法。同样，我们的模型参数和计算成本降低了几个数量级。我们的代码可在https://github.com/ngrxmu/lab-net上找到。

现有视频超分辨率（VSR）算法的成功主要是从相邻框架中利用时间信息。但是，这些方法都没有讨论带有固定物体和背景的贴片中时间冗余的影响，并且通常使用相邻框架中的所有信息而没有任何歧视。在本文中，我们观察到时间冗余将对信息传播产生不利影响，这限制了最现有的VSR方法的性能。在这一观察结果的推动下，我们旨在通过以优化的方式处理时间冗余贴片来改善现有的VSR算法。我们开发了两种简单但有效的插件方法，以提高广泛使用的公共视频中现有的本地和非本地传播算法的性能。为了更全面地评估现有VSR算法的鲁棒性和性能，我们还收集了一个新数据集，其中包含各种公共视频作为测试集。广泛的评估表明，所提出的方法可以显着提高野生场景中收集的视频的现有VSR方法的性能，同时保持其在现有常用数据集上的性能。该代码可在https://github.com/hyhsimon/boosted-vsr上找到。

在线轨迹规划师可以使四型二次计算机在未知的混乱环境中安全，平稳地导航。但是，调整参数具有挑战性，因为现代计划者已经变得过于复杂，无法在数学上建模并预测他们与非结构化环境的互动。这项工作通过提出一个计划者参数适应框架，将人类从循环中脱颖而出，该框架将目标提出为两个互补类别并将其异步优化。使用贝叶斯优化（Bayesopt）和粒子群优化（PSO）评估和没有轨迹执行的目标进行了评估。通过结合两种目标，加速了黑盒优化的总收敛速率，而可以提高优化参数的尺寸。基准比较证明了其优于其他策略的表现。随着障碍物密度变化的测试验证了其实时环境的适应，这对于先前的手动调整很难。具有不同无人机平台，环境和计划人员的现实世界飞行显示了拟议的框架的可扩展性和有效性。

通过强迫连续重量的最多n非零，最近的N：M网络稀疏性因其两个有吸引力的优势而受到越来越多的关注：1）高稀疏性的有希望的表现。 2）对NVIDIA A100 GPU的显着加速。最近的研究需要昂贵的训练阶段或重型梯度计算。在本文中，我们表明N：M学习可以自然地将其描述为一个组合问题，该问题可以在有限的集合中寻找最佳组合候选者。由这种特征激励，我们以有效的分裂方式解决了n：m的稀疏性。首先，我们将重量向量分为$ c _ {\ text {m}}}^{\ text {n}} $组合s子集的固定大小N。然后，我们通过分配每个组合来征服组合问题，一个可学习的分数是共同优化了其关联权重。我们证明，引入的评分机制可以很好地模拟组合子集之间的相对重要性。通过逐渐去除低得分的子集，可以在正常训练阶段有效地优化N：M细粒稀疏性。全面的实验表明，我们的学习最佳组合（LBC）的表现始终如一，始终如一地比现成的N：m稀疏方法更好。我们的代码在\ url {https://github.com/zyxxmu/lbc}上发布。

在许多收集的图像中，由于未经污染的图像对于许多下游多媒体任务至关重要，因此阴影删除引起了人们的关注。当前的方法考虑了阴影和非阴影区域的相同卷积操作，同时忽略了阴影区域和非阴影区域的颜色映射之间的巨大差距，从而导致重建图像的质量差和沉重的计算负担。为了解决这个问题，本文介绍了一个新颖的插件阴影感知动态卷积（SADC）模块，以使阴影区域与非阴影区域之间的相互依赖性解除。受到以下事实的启发：非阴影区域的颜色映射更易于学习，我们的SDC以计算上的轻巧卷积模块的方式处理非阴影区域，并以计算上的廉价方式处理，并使用更复杂的卷积模块恢复阴影区域图像重建的质量。鉴于非阴影区域通常包含更多背景颜色信息，我们进一步开发了一种新型的卷积内蒸馏损失，以增强从非阴影区域到阴影区域的信息流。在ISTD和SRD数据集上进行的广泛实验表明，我们的方法在许多最先进的情况下取得了更好的阴影去除性能。我们的代码可从https://github.com/xuyimin0926/sadc获得。

轻巧的超级分辨率（SR）模型因其在移动设备中的可用性而受到了极大的关注。许多努力采用网络量化来压缩SR模型。但是，当将SR模型定量为具有低成本层量化的超低精度（例如2位和3位）时，这些方法会遭受严重的性能降解。在本文中，我们确定性能下降来自于层的对称量化器与SR模型中高度不对称的激活分布之间的矛盾。这种差异导致量化水平上的浪费或重建图像中的细节损失。因此，我们提出了一种新型的激活量化器，称为动态双训练边界（DDTB），以适应激活的不对称性。具体而言，DDTB在：1）具有可训练上限和下限的层量化器中，以应对高度不对称的激活。 2）一个动态栅极控制器，可在运行时自适应地调整上和下限，以克服不同样品上的急剧变化的激活范围。为了减少额外的开销，将动态栅极控制器定量到2位，并仅应用于部分的一部分SR网络根据引入的动态强度。广泛的实验表明，我们的DDTB在超低精度方面表现出显着的性能提高。例如，当将EDSR量化为2位并将输出图像扩展为X4时，我们的DDTB在Urban100基准测试基准上实现了0.70dB PSNR的增加。代码位于\ url {https://github.com/zysxmu/ddtb}。